#многоголовое самовнимание07.05.2025
Университет Фудань представляет Lorsa: разбор суперпозиции внимания в трансформерах с помощью разреженных механизмов
Исследователи из Университета Фудань разработали Lorsa — механизм разреженного внимания, позволяющий выделять атомарные единицы внимания, скрытые в суперпозиции трансформеров, что улучшает интерпретируемость языковых моделей.